A Practical Investigation of Training-free Relaxed Speculative Decoding
无需训练的宽松投机解码实用研究
🧭 LLM推理加速 · 投机解码优化
Imperial College London · Graphcore
统一宽松投机解码框架，实证发现放松保真度需仔细能力评估，且依赖强草稿模型
📌 工作参考价值（4 点）
- 在电商搜索自动补全、对话推荐等延迟敏感场景，可尝试放松标准投机解码的无损约束以榨取更多加速，但必须针对具体任务（如Query推荐准确率、CVR）设计能力评估，在线灰度实验必不可少。
- 草稿模型必须是一个足够好的语言模型（如原LLM的压缩版或同架构小模型），不宜使用纯为多token预测设计的轻量专用草稿器，否则加速但质量崩坏。
- 统一框架中，Top‑k与Top‑p结合的接受准则在权衡中表现较鲁棒，可作为工程落地的起点，无需额外训练。
- 当线上主模型与草稿模型输出分布差异大时，放松策略可能引入难以察觉的降质，建议在离线多维度评测（困惑度、任务指标、人工评估）中模拟长尾请求，避免“平均加速好看但头尾体验分化”。